Метод реконструкции трехмерных сцен, основанный на применении сверточных нейронных сетей, фильтрации по дистанции и с помощью «октодерева» 

Юрий Владимирович Дубенко, кандидат технических наук, доцент, доцент кафедры информатики и вычислительной техники, Кубанский государственный технологический университет (Россия, г. Краснодар, ул. Московская, 2), E-mail: scorpioncool1@yandex.ru
Евгений Евгеньевич Дышкант, кандидат технических наук, старший преподаватель кафедры внутризаводского электрооборудования и автоматики, Кубанский государственный технологический университет (Россия, г. Краснодар, ул. Московская, 2), E-mail: ed0802@yandex.ru
Николай Николаевич Тимченко, соискатель, Кубанский государственный технологический университет (Россия, г. Краснодар, ул. Московская, 2), E-mail: north_11@mail.ru
Никита Андреевич Рудешко, аспирант, Кубанский государственный технологический университет (Россия, г. Краснодар, ул. Московская, 2), E-mail: nikita.rudeshko@yandex.ru 

004.932.72'1 

DOI

10.21685/2072-3059-2021-4-4 

Актуальность и цели. Объектом исследования являются системы машинного зрения. Предметом исследования являются методы реконструкции трехмерных сцен. Цель исследования – разработка метода реконструкции трехмерных сцен, включающего этапы идентификации трехмерных объектов, сегментации (выделения) и фильтрации составляющих их точек в исходном облаке. Материалы и методы. Использованы метод Block-Matching Algorithm, применяемый для формирования карты глубины; сверточная нейронная сеть Mask R-CNN – для идентификации и сегментации объектов внешней среды; метод OctTree – для выполнения фильтрации облака точек; метод триангуляции Делоне – для формирования трехмерной модели. Результаты. На основе предложенного метода реконструкции трехмерных сцен был разработан программный продукт на языках программирования Python (виртуальное окружение TensorFlow для реализации сверточной сети Mask RCNN) и C#, реализующий формирование трехмерной модели дорожного покрытия. Выводы. Полученная трехмерная модель дорожного покрытия в дальнейшем может быть использована для определения следующих параметров: границы, ось дорожного покрытия, геометрические размеры дефектов (выбоины, волны, впадины, выкрашивания, выпотевания, выступы, трещины), показатель продольной ровности (IRI). 

Ключевые слова

трехмерная сцена, реконструкция, сегментация, фильтрация, распознавание, сверточная нейронная сеть 

 Скачать статью в формате PDF

1. Нгуен Тху Хыонг, Нгуен Тхе Лонг. Алгоритмическое и программное обеспечение автоматического обнаружения и классификации дефектов дорожного покрытия с помощью метода разреза графов и алгоритма случайных лесов // Вестник Иркутского государственного технического университета. 2016. № 10 (117). С. 111–118.
2. Соболь Б. В., Соловьев А. Н., Васильев П. В., Подколзина Л. А. Модель глубокой сверточной нейронной сети в задаче сегментации трещин на изображениях асфальта // Вестник Донского государственного технического университета. 2019.
№ 1. C. 63–73.
3. Майсурадзе Ш. Г., Майсурадзе И. Г. Решение инженерных дорожных задач на основе данных мобильного лазерного сканирования // САПР и ГИС автомобильных дорог. 2016. № 2 (7). С. 50–53.
4. Система видеодефектации покрытий автомобильных дорог (Росдортех). URL: https://www.rosdorteh.ru/catalog/27/
5. Казьмин В. Н., Носков В. П. Выделение геометрических и семантических объектов в дальнометрических изображениях для навигации роботов и реконструкции внешней среды // Известия ЮФУ. Технические науки. 2015. № 10 (171). C. 71–83.
6. Горитов А. Н., Яковченко С. И. Построение модели внешней среды робота на основе стереозрения // Динамика систем, механизмов и машин. 2017. № 1. C. 121–125.
7. Чугунов Р. А., Кульневич А. Д., Аксенов С. В. Методика построения карт глубины стереоизображения с помощью капсульной нейронной сети // Доклады Томского государственного университета систем управления и радиоэлектроники. 2019. № 1. С. 83–86.
8. Mohan D., Ram Dr. A. R. A Review on Depth Estimation for Computer Vision Applications // International Journal of Engineering and Innovative Technology (IJEIT), 2015. Vol. 4, iss. 11. URL: https://pdfs.semanticscholar.org/f75b/2030713b 36addde9b9d551ee003c20bac3ca.pdf
9. Barjayta A. Block matching algorithms for motion estimation // IEEE Transactions Evolution Computation. 2004. Vol. 8, № 3. P. 225–239.
10. Медведев М. В., Кирпичников А. П. Трехмерная реконструкция объектов в системе технического зрения мобильного робота // Вестник Казанского технологического университета. 2014. Т. 15, № 15. C. 326–330.
11. Kaiming He, Gkioxari G., Dollár P., Girshick R. Mask R-CNN / Computer Vision and Pattern Recognition (cs.CV) // arXiv:1703.06870 – Submitted on 20 Mar 2017 (v1), last revised 24 Jan 2018 (this version, v3)
12. Liu J. et al. RocNet: Recursive Octree Network for Efficient 3D Deep Representation arXiv:2008.03875 [cs.CV].
13. Скворцов А. В. Триангуляция Делоне и ее применение. Томск : Изд-во Том. ун-та, 2002. 128 с.
14. Патент RU 2650857 C1. Система определения геометрических параметров трехмерных объектов / Дубенко Ю. В., Тимченко Н. Н. № 2017111746 ; заявл. 06.04.2017 ; опубл. 17.04.2018.
15. Дубенко Ю. В., Дышкант Е. Е., Рудешко Н. А., Тимченко Н. Н. Научно-технический отчет по результатам выполнения этапа по договору № 3617ГС1/60550 (код 0060550) от 20.07.2020 «Разработка цифровой платформы для обеспечения безопасности дорожной инфраструктуры с применением трехмерного лазерного сканирования», регистрационный номер ИКРБС: АААА-Б20-220122990242-9, зарег. 29.12.2020, 64 с.